1.背景介绍随着数据量的增长，实时数据处理变得越来越重要。实时流处理是一种处理大规模实时数据流的技术，它可以在数据到达时进行处理，而不是等待所有数据收集后进行批量处理。这种技术在各种应用场景中都有广泛的应用，例如实时监控、金融交易、物联网等。ApacheNiFi和ApacheFlink是实时流处理的两个主要技术，它们各自具有不同的优势和特点。ApacheNiFi是一个流处理引擎，它可以处理大规模的实时数据流，并提供了丰富的数据处理功能。ApacheFlink是一个流处理框架，它可以处理大规模的实时数据流，并提供了强大的数据处理功能。在本文中，我们将深入探讨ApacheNiFi和ApacheFl
1.旁路缓存1.什么是旁路缓存?将数据库中的数据,比较经常访问的数据,保存起来,以减少和硬盘数据库的交互比如:我们使用mysql时经常查询一个表,而这个表又一般不会变化,就可以放在内存中,查找时直接对内存进行查找,而不需要再和mysql交互2.旁路缓存例子使用dim层使用的是hbase存储,因为dim层可能会出现大表,出现数据量过大,所以存储到磁盘合适,使用hbase而dwd的连接,dwd是从kafka读取ods的数据,并且存入kafka.因为dwd表是由ods表与dim表关联,所以需要经常和dim互动,互动的话,需要经常传输数据,而从磁盘到内存,显然比不过直接从内存中读取来的快,所以这里使用
时态表(TemporalTable)文章目录时态表(TemporalTable)数据库时态表的实现逻辑时态表的实现原理时态表的查询实现时态表的意义Flink中的时态表设计初衷产品价格的例子——时态表汇率的例子——普通表声明版本表声明版本视图声明普通表一个完整的例子测试数据代码实现测试结果总结数据库时态表的实现逻辑这里我们需要注意一下的是虽然我们介绍的是Flink的TemporalTable但是这个概念最早是在数据库中提出的在ANSI-SQL2011中提出了Temporal的概念，Oracle，SQLServer，DB2等大的数据库厂商也先后实现了这个标准。TemporalTable记录了历史上
一.容错机制在Flink中，有一套完整的容错机制来保证故障后的恢复，其中最重要的就是检查点。1.1 检查点（Checkpoint）在流处理中，我们可以用存档读档的思路，将之前某个时间点的所有状态保存下来，这份存档就被称为“检查点（CkeckPoint）”。当Flink程序异常重启时，我们就可以在检查点中“读档”，恢复出异常之前的状态。 1.1.1 检查点的保存(1)周期性的触发保存在Flink中，检查点的保存是周期性触发的，间隔时间可以进行设置。但是不建议保存太频繁，会消耗很多资源来做检查点。(2) 保存的时间点我们应该在所有任务（算子）都恰好处理完一个相同的输入数据的时候，将它们的状态保存
Flink的Checkpoint总结1、简介1）概述Flink中的每个函数和运算符都可以有状态，状态中存储计算的中间结果。状态可以用于容错，在任务被动失败或者主动重启时，可以通过Checkpoint或Savepoint从先前的状态中恢复计算数据，以保证数据计算的ExactlyOnec（精准一次）或AtleastOnce（至少一次）。2）检查点算法1.Barrier对齐：一个Task收到所有上游同一个编号的barrier之后，才会对自己的本地状态做备份精准一次：在barrier对齐过程中，barrier后面的数据阻塞等待（不会越过barrier）至少一次：在barrier对齐过程中，先到的bar
前言： 技术为需求服务，通用需求由开源软件提供功能，一些特殊的需求，需要基于场景定制化开发功能。而对于自定义开发功能，Flink则提供了这样的SDK接口能力。本文将从定制化功能需求分析和如何基于Flink构建定制化功能两个方面讲述。一、定制化功能开发的思考2.1为什么要学会定制化功能的开发？ 一些常规需求的应用能力已经被包装得很好，只需要关注包装在功能之上的交互逻辑，就能满足业务需求。但有些需求依靠现成的技术无法完成，只能自定义任务逻辑，完成特定场景需求的功能包装；或者部分功能性能和可用性不佳，需要重构功能满足可用性和高性能需求。2.2有哪些需求属于定制化开发大数据场景，对数据集成
Flink系列之：深入理解ttl和checkpoint，FlinkSQL应用ttl案例一、深入理解FlinkTTL二、FlinkSQL设置TTL三、Flink设置TTL四、深入理解checkpoint五、Flink设置Checkpoint六、FlinkSQL关联多张表七、FlinkSQL使用TTL关联多表一、深入理解FlinkTTLFlinkTTL（TimeToLive）是一种机制，用于设置数据的过期时间，控制数据在内存或状态中的存活时间。通过设置TTL，可以自动删除过期的数据，从而释放资源并提高性能。在Flink中，TTL可以应用于不同的组件和场景，包括窗口、状态和表。窗口：对于窗口操作，可
双流连结（Join）：根据某个字段的值将数据联结起来，“配对”去做处理窗口联结（WindowJoin）可以定义时间窗口，并将两条流中共享一个公共键（key）的数据放在窗口中进行配对处理代码逻辑首先需要调用DataStream的.join()方法来合并两条流，得到一个JoinedStreams；接着通过.where()和.equalTo()方法指定两条流中联结的key；然后通过.window()开窗口，并调用.apply()传入联结窗口函数进行处理计算stream1.join(stream2).where().equalTo().window().apply()对于JoinFunction：pu
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应
